Beliau dilahirkan pada 2 Oktober 1923[4] di Tapanuli Utara, Sumatera Utara dan berpindah ke Jakarta untuk belajar di AMS. Selepas menamatkan pengajian di AMS, beliau pergi ke Amerika Syarikat untuk mengkaji lebih lanjut sinematografi di Universiti California (1956-1957).[5]

Sewaktu membesar, Indonesia berada di bawah pemerintahan Belanda dan pendidikan gaya Eropah telah disediakan hanya untuk sebilangan kecil penduduk. Oleh itu, semasa sekolah tinggi beliau belajar kebanyakannya kesusasteraan Eropah dan Belanda, yang beliau mendapati mengganggu dan menimbulkan rasa nasionalisme baliau. Apabila Sitor berumur 15 tahun, beliau mendapat ilham untuk menterjemah "Saijah dan Adinda" (puisi), sebahagian daripada Max Havelaar oleh Multatuli, dari Belanda untuk Batak yang merupakan bahasa ibundanya walaupun Belanda beliau terhad untuk jenis sastera ini. Ini merupakan titik permulaan kepentingan beliau dalam kesusasteraan. Dia mula membaca lebih dan lebih kesusasteraan Indonesia dan barat, dan menjadi inspirasi untuk berusaha ke arah menjadi seorang penulis.[5]